SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
引诱LLM触礁:基于PAIR的Web-RAG推荐器偏好操纵
🧭 对抗攻击与排名操纵 · RAG安全
The University of Queensland · Curtin University
使用PAIR自动攻击框架,通过固定检索源下的内容投毒迭代,将目标实体推至LLM推荐排名第一
📌 工作参考价值(4 点)
- 评估RAG推荐系统安全:借鉴SIREN的自动化测试框架,用固定源回放平台隔离内容影响,检测模型是否易受类似排名投毒攻击。
- 防御过滤:在检索文档进入LLM上下文前,清洗掉声明性排名主张(“最好”“第一”)和植入列表,它们比指令注入更有效,需重点防御。
- 攻击手法洞察:实验中“在列表首位列出目标”等简单编辑就十分有效,提示我们在电商搜索中须警惕对手通过修改商品描述或评论操纵排名。
- 工程实现:论文的Custom-RAG replay平台思路可直接迁移,用于复现和压测自家推荐链路的鲁棒性,分离检索与内容影响。